本发明的多视点图像编码/译码装置,首先求取在处理对象区域中摄影的被摄体的深度信息。接着在与处理对象区域邻接的已经编码(译码)完成的区域中,根据深度信息求取与编码对象区域摄影了相同的被摄体的像素群,设定样本像素群。接着,针对样本像素群中包含的像素和处理对象区域中包含的像素生成视点合成图像。接着,根据样本像素群中的视点合成图像和译码图像来估计对亮度和颜色的失配进行校正的参数。接着使用估计的校正参数,校正对处理对象区域生成的视点合成图像,由此生成预测图像。
1.一种多视点图像编码方法,将以第1摄影机摄影的被摄体的输入图像分割成多个编码对象区域,使用由针对所述输入图像的深度信息和以配置在与所述第1摄影机不同的位置的第2摄影机摄影的所述被摄体的已经编码完成的图像合成的视点合成图像,按所述编码对象区域的每一个进行预测编码,其中,具有:代表深度设定步骤,设定针对在所述编码对象区域中摄影的被摄体的代表深度信息;样本像素群设定步骤,基于与所述编码对象区域邻接的已经编码完成的区域中的深度信息和所述代表深度信息,求取与所述编码对象区域内摄影了相同的被摄体的像素群,作为样本像素群进行设定;校正参数估计步骤,基于针对所述样本像素群的所述视点合成图像以及针对所述样本像素群已经译码了的译码图像,对校正亮度和颜色的至少一个的失配的校正参数进行估计;视点合成图像校正步骤,使用所述校正参数,校正针对所述编码对象区域的所述视点合成图像并生成校正视点合成图像;图像编码步骤,使用所述校正视点合成图像,对所述编码对象区域的图像信号进行编码,生成码数据;以及图像译码步骤,对所述码数据进行译码,生成所述编码对象区域的译码图像。
2.根据权利要求1所述的多视点图像编码方法,其中,具有:被摄体判定步骤,将所述编码对象区域中的像素以该像素的深度信息作为基准进行分组,在所述代表深度设定步骤中,按在所述被摄体判定步骤中求取的每个组设定代表深度信息,在所述样本像素群设定步骤中,按在所述被摄体判定步骤中求取的每个组设定样本像素群,在所述校正参数估计步骤中,按在所述被摄体判定步骤中求取的每个组估计校正参数,在所述视点合成图像校正步骤中,按在所述被摄体判定步骤中求取的每个组校正视点合成图像。
3.根据权利要求1或2所述的多视点图像编码方法,其中,具备:校正模型选择步骤,对应于所述样本像素群的像素数选择校正模型,该校正模型校正针对所述编码对象区域的所述视点合成图像,在所述校正参数估计步骤中,对在所述校正模型选择步骤中选择的所述校正模型中的校正参数进行估计,在所述视点合成图像校正步骤中,使用在所述校正模型选择步骤中选择的所述校正模型对视点合成图像进行校正。
4.一种多视点图像译码方法,将译码对象图像的码数据,即将以第1摄影机摄影的被摄体的图像使用配置在与所述第1摄影机不同位置的第2摄影机摄影的所述被摄体的图像进行编码后的码数据,使用由针对所述译码对象图像的深度信息和以所述第2摄影机摄影的已经译码完成的所述被摄体的图像合成的视点合成图像,按照将所述译码对象图像分割后的多个译码对象区域的每一个进行译码,其中,具有:代表深度设定步骤,设定针对在所述译码对象区域中摄影的被摄体的代表深度信息;样本像素群设定步骤,基于与所述译码对象区域邻接的已经译码完成的区域中的深度信息和所述代表深度信息,求取与所述译码对象区域内摄影了相同的被摄体的像素群,作为样本像素群进行设定;校正参数估计步骤,基于针对所述样本像素群的所述视点合成图像以及针对所述样本像素群已经译码了的译码图像,对校正亮度和颜色的至少一个的失配的校正参数进行估计;视点合成图像校正步骤,使用所述校正参数,校正针对所述译码对象区域的所述视点合成图像并生成校正视点合成图像;以及图像译码步骤,使用所述校正视点合成图像,对所述译码对象区域的图像信号进行译码。
5.根据权利要求4所述的多视点图像译码方法,其中,具有:被摄体判定步骤,将所述译码对象区域中的像素以该像素的深度信息作为基准进行分组,在所述代表深度设定步骤中,按在所述被摄体判定步骤中求取的每个组设定代表深度信息,在所述样本像素群设定步骤中,按在所述被摄体判定步骤中求取的每个组设定样本像素群,在所述校正参数估计步骤中,按在所述被摄体判定步骤中求取的每个组估计校正参数,在所述视点合成图像校正步骤中,按在所述被摄体判定步骤中求取的每个组校正视点合成图像。
6.根据权利要求4或5所述的多视点图像译码方法,其中,具备:校正模型选择步骤,对应于所述样本像素群的像素数选择校正模型,该校正模型校正针对所述译码对象区域的所述视点合成图像,在所述校正参数估计步骤中,对在所述校正模型选择步骤中选择的所述校正模型中的校正参数进行估计,在所述视点合成图像校正步骤中,使用在所述校正模型选择步骤中选择的所述校正模型对视点合成图像进行校正。
7.一种多视点图像编码装置,将以第1摄影机摄影的被摄体的输入图像分割成多个编码对象区域,使用由针对所述输入图像的深度信息和以配置在与所述第1摄影机不同的位置的第2摄影机摄影的所述被摄体的已经编码完成的图像合成的视点合成图像,按所述编码对象区域的每一个进行预测编码,其中,具有:代表深度设定部,设定针对在所述编码对象区域中摄影的被摄体的代表深度信息;样本像素群设定部,基于与所述编码对象区域邻接的已经编码完成的区域中的深度信息和所述代表深度信息,求取与所述编码对象区域内摄影了相同的被摄体的像素群,作为样本像素群进行设定;校正参数估计部,基于针对所述样本像素群的所述视点合成图像以及针对所述样本像素群已经译码了的译码图像,对校正亮度和颜色的至少一个的失配的校正参数进行估计;视点合成图像校正部,使用所述校正参数,校正针对所述编码对象区域的所述视点合成图像并生成校正视点合成图像;图像编码部,使用所述校正视点合成图像,对所述编码对象区域的图像信号进行编码,生成码数据;以及图像译码部,对所述码数据进行译码,生成所述编码对象区域的译码图像。
8.一种多视点图像译码装置,将译码对象图像的码数据,即将以第1摄影机摄影的被摄体的图像使用配置在与所述第1摄影机不同位置的第2摄影机摄影的所述被摄体的图像进行编码后的码数据,使用由针对所述译码对象图像的深度信息和以所述第2摄影机摄影的已经译码完成的所述被摄体的图像合成的视点合成图像,按照将所述译码对象图像分割后的多个译码对象区域的每一个进行译码,其中,具有:代表深度设定部,设定针对在所述译码对象区域中摄影的被摄体的代表深度信息;样本像素群设定部,基于与所述译码对象区域邻接的已经译码完成的区域中的深度信息和所述代表深度信息,求取与所述译码对象区域内摄影了相同的被摄体的像素群,作为样本像素群进行设定;校正参数估计部,基于针对所述样本像素群的所述视点合成图像以及针对所述样本像素群已经译码了的译码图像,对校正亮度和颜色的至少一个的失配的校正参数进行估计;视点合成图像校正部,使用所述校正参数,校正针对所述译码对象区域的所述视点合成图像并生成校正视点合成图像;以及图像译码部,使用所述校正视点合成图像,对所述译码对象区域的图像信号进行译码。技术领域
本发明涉及对通过多个摄影机对某个被摄体摄影的图像进行编码的多视点图像编码方法及其装置、对通过该多视点图像编码方法编码了的码数据进行译码的多视点图像译码方法及其装置、用于实现该多视点图像编码方法的多视点图像编码程序、用于实现该多视点图像译码方法的多视点图像译码程序。xa0本申请基于2009年2月23日在日本申请的日本特愿2009-38786号要求优先权,在这里引用其内容。xa0
背景技术
多视点图像指的是以多个摄影机对相同的被摄体和背景进行摄影的多个图像,多视点活动图像(多视点视频)是其活动图像。xa0作为用于通常的活动图像编码、多视点活动图像编码的技术,提出了运动补偿预测和视差补偿预测。xa0运动补偿预测是在以H.264为代表的近年来的活动图像编码方式的国际标准中也采用的方法,在编码对象帧与已经编码完成的参照帧之间对被摄体的运动进行补偿,取得图像信号的帧间差分,仅对该差分信号进行编码(参照非专利文献1)。xa0另一方面,视差补偿预测通过使用以其它的摄影机摄影的帧作为参照帧来对被摄体的视差进行补偿,一边取得图像信号的帧间差分一边进行编码(参照非专利文献2)。xa0在这里使用的视差指的是在配置于不同位置的摄影机的图像平面上,被摄体上的相同位置被投影的位置的差。在视差补偿预测中,将其以二维矢量来表现并进行编码。如图9所示,由于视差是依赖于摄影机的位置和被摄体与摄影机的距离(深度)depth而产生的信息,所以存在利用该原理的被称为视点合成预测(视点内插预测)的方式。xa0在视点合成预测(视点内插预测)中,有对在编码侧或译码侧获得的多视点视频使用摄影机的位置信息和三角测量的原理对被摄体的深度进行估计,使用该估计的深度信息对编码对象帧进行合成(内插)而生成预测图像的方式(参照专利文献1、非专利文献3)。再有,在编码侧对深度进行估计的情况下,需要对使用的深度(depth)进行编码。xa0在使用以该其它的摄影机摄影的图像的预测中,当在摄影机的摄像元件的响应中存在个体差时,或按每个摄影机进行增益控制、伽玛校正时,或每个摄影机的景深、光圈等的设定相异时,或在场景中有依赖于方向的照明效果时,编码效率劣化。其理由在于,因为以在编码对象帧和参照帧中被摄体的亮度、颜色相同作为前提来进行预测。xa0作为为了应对该被摄体的亮度、颜色的变化而研究的方式,有被称为亮度补偿、颜色校正的方式。在该方式中,通过将校正了参照帧的亮度、颜色后的参照帧作为在预测中使用的帧,从而将编码的预测残差抑制得较小。xa0在H.264中,采用利用1次函数进行校正的Weightedxa0Prediction(加权预测)(参照非专利文献1),在非专利文献3中,提出了使用颜色表进行校正的方式。xa0现有技术文献xa0专利文献xa0专利文献1:日本特开2007-036800号公报“映像符号化方法、映像復号方法、映像符号化プログラム、映像復号プログラム及びそれらのプログラムを記録したコンピュータ読み取り可能な記録媒体”非专利文献xa0非专利文献1:ITU-Txa0Rec.xa0H.264/ISO/IECxa011496-10,xa0"Advancedxa0videoxa0codingxa0forxa0genericxa0audiovisualxa0services",xa0Finalxa0Committeexa0Draft,xa0documentxa0JVT-E022d7,xa0Septemberxa02002.(pp.10-13,xa0pp.62-73)非专利文献2:Hideakixa0Kimataxa0andxa0Masakixa0Kitahara,xa0"Preliminaryxa0resultsxa0onxa0multiplexa0viewxa0videoxa0codingxa0(3DAV)",xa0documentxa0M10976xa0MPEGxa0Redmondxa0Meeting,xa0July,xa02004.非专利文献3:xa0K.Yamamoto,xa0M.Kitahara,xa0H.Kimata,xa0T.Yendo,xa0T.Fujii,xa0M.Tanimoto,xa0S.Shimizu,xa0K.Kamikura,xa0andxa0Y.Yashima,xa0"Multiviewxa0Videoxa0Codingxa0Usingxa0Viewxa0Interpolationxa0andxa0Colorxa0Correction,"xa0IEEExa0Transactionsxa0onxa0Circuitsxa0andxa0Systemxa0forxa0Videoxa0Technology,xa0Vol.17,xa0No.11,xa0pp.1436-1449,xa0November,xa02007。
发明内容
发明要解决的课题xa0在使用上述的亮度补偿、颜色校正的编码的情况下,存在以下2个问题。xa0第1个问题是附加亮度补偿/颜色校正参数等导致的码量的增加。由于产生对在通常的视差补偿预测、视点合成(内插)预测中不需要编码的亮度补偿/颜色校正参数等进行编码的需要,所以编码效率降低。xa0第2个问题是校正的精度。在通常的活动图像编码中的减弱(fade)、闪烁(flash)的情况下,由于画面整体同样地变化,所以以单一的校正参数能够进行充分的亮度补偿、颜色校正等。可是,由于被摄体不是完全扩散反射体或每个摄影机的景深、焦点不完全一致导致的失配(mismatch)(亮度、颜色的不一致)不是依赖于场景,而是依赖于被摄体的失配。因此在利用单一的校正参数的校正中,根据被摄体存在使失配扩大的情况。xa0对于该问题,为了应对每个被摄体的失配,也考虑使用多个校正参数的方法。可是,当使用该方法时,由于不仅是对多个校正参数进行编码的码量,而且需要对表示对每个图像区域使用哪个校正参数的信息进行编码,所以招致进一步的码量增大,不能够解决第1个问题。xa0本发明正是鉴于这样的情况而完成的,其目的在于提供一种新的多视点图像编码和译码技术,即使在摄影机间伴随局部的亮度、颜色的失配的多视点图像(多视点静止图像、活动图像)中,也能够实现高效率的编码,并且实现在实现高效率的编码中所需要的码量的削减。xa0用于解决课题的方案xa0[1]本发明的基本的技术思想为了解决上述的课题,在本发明中,在对编码/译码对象帧进行分割,按每个区域进行多视点图像的编码/译码的情况下,采用如下手段。xa0首先,求取在处理对象区域中摄影的被摄体的深度信息。接着,在与处理对象区域邻接的已经编码(译码)完成的区域中,根据深度信息求取与处理对象区域摄影了相同的被摄体的像素群,作为样本像素群。接着,对在该样本像素群中包含的像素生成视点合成图像,并且对在处理对象区域中包含的像素生成视点合成图像。接着,根据样本像素群中的视点合成图像和译码图像,估计对亮度、颜色的失配进行校正的校正参数。接着,使用估计的校正参数,对针对处理对象区域生成的视点合成图像进行校正,由此生成在处理对象区域的图像信号的编码(译码)中使用的预测图像。xa0在对编码对象帧和参照帧进行比较来计算校正参数的现有的方法的情况下,由于编码对象帧不能在译码侧获得,所以需要对校正参数进行编码。xa0另一方面,在本发明中,对编码/译码对象帧的已经编码/译码完成的区域的图像信号、和使用参照帧生成的视点合成图像的信息进行比较,计算校正参数。由于它们都是在译码侧能够获得的,所以不需要对校正参数进行编码。也就是说,通过本发明能够解决码量增加的问题。xa0此外,由于编码处理是尽可能忠实地对输入信号进行变换的处理,所以能够将编码对象的图像信号和编码/译码完成的图像信号看作大致相同的信号。也就是说,通过本发明计算出的校正参数能够使视点合成图像接近编码对象帧,将必须编码的预测差分充分减小。xa0此外,在本发明中,使用与在处理对象区域中摄影的被摄体摄影了相同的被摄体的邻接区域的信息,进行校正参数的估计。由此,能够进行依赖于被摄体的亮度、颜色的校正。进而,由于在该被摄体的判定中使用在生成视点合成图像时需要的深度信息,所以不需要另外对信息进行编码并传输。xa0在上述的多视点图像编码/译码中,通过求取处理对象区域中的深度信息的方差,与预先决定的阈值进行比较,从而判定在处理对象区域中是否摄影了多个被摄体,在摄影了多个被摄体的情况下,按每个被摄体决定深度信息和样本像素群,估计校正参数。再有,通过将在处理对象区域中存在的没达到一定像素的被摄体与其它的被摄体同时处理,能够防止运算量的增加。xa0进而,在上述的多视点图像编码/译码方法中,基于样本像素群的像素数,变更存在的多个校正模型(校正参数数量)。xa0[2]本发明的结构xa0接着,针对本发明的多视点图像编码装置和多视点图像译码装置的结构进行说明。xa0[2-1]xa0本发明的多视点图像编码装置的结构xa0本发明的多视点图像编码装置,将以第1摄影机摄影的被摄体的输入图像分割成多个编码对象区域,使用由针对所述输入图像的深度信息和以配置在与所述第1摄影机不同的位置的第2摄影机摄影的所述被摄体的已经编码完成的图像合成的视点合成图像,按所述编码对象区域的每一个进行预测编码,由此对多视点图像(多视点的静止图像、活动图像)进行编码,其中,具有:(1)代表深度设定部,设定针对在所述编码对象区域中摄影的被摄体的代表深度信息;(2)样本像素群设定部,基于与所述编码对象区域邻接的已经编码完成的区域中的深度信息和所述代表深度信息,求取与所述编码对象区域内摄影了相同的被摄体的像素群,作为样本像素群进行设定;(3)校正参数估计部,基于针对所述样本像素群的所述视点合成图像以及针对所述样本像素群已经译码了的译码图像,对校正亮度和颜色的失配的校正参数进行估计;(4)视点合成图像校正部,使用所述校正参数,校正针对所述编码对象区域的所述视点合成图像并生成校正视点合成图像;(5)图像编码部,使用所述校正视点合成图像,对所述编码对象区域的图像信号进行编码,生成码数据;以及(6)图像译码部,对所述码数据进行译码,生成所述编码对象区域的译码图像。xa0本发明的实施方式的多视点图像编码装置还具备:(7)被摄体判定部,将所述编码对象区域中的像素以该的像素的深度信息作为基准进行分组。在该情况下,代表深度设定部按在被摄体判定部中求取的每个组设定代表深度信息,样本图像群设定部按在被摄体判定部中求取的每个组设定样本像素群,校正参数估计部按在被摄体判定部中求取的每个组估计校正参数,视点合成图像校正部按在被摄体判定部中求取的每个组校正视点合成图像。xa0此外,本发明的实施方式的多视点图像编码装置还具备:(8)校正模型选择部,对应于样本像素群的像素数选择校正模型,该校正模型校正针对所述编码对象区域的所述视点合成图像。在该情况下,校正参数估计部对在校正模型选择部中选择的校正模型中的校正参数进行估计,视点合成图像校正部使用在校正模型选择部中选择的校正模型对视点合成图像进行校正。xa0通过以上的各处理单元工作而实现的本发明的多视点图像编码方法也能够以计算机程序来实现。该计算机程序记录在适当的计算机能够读取的记录介质中而被提供,或经由网络而被提供,在实施本发明时被安装并通过在CPU等的控制单元上工作,从而能够实现本发明。xa0[2-2]xa0本发明的多视点图像译码装置的结构xa0本发明的多视点图像译码装置,将译码对象图像的码数据,即将以第1摄影机摄影的被摄体的图像使用配置在与所述第1摄影机不同位置的第2摄影机摄影的所述被摄体的图像进行编码后的码数据,使用由针对所述译码对象图像的深度信息和以所述第2摄影机摄影的已经译码完成的所述被摄体的图像合成的视点合成图像,按照将所述译码对象图像分割后的多个译码对象区域的每一个进行译码,由此对多视点图像(多视点的静止图像、活动图像)进行译码,其中,具有:(1)代表深度设定部,设定针对在所述译码对象区域中摄影的被摄体的代表深度信息;(2)样本像素群设定部,基于与所述译码对象区域邻接的已经译码完成的区域中的深度信息和所述代表深度信息,求取与所述译码对象区域内摄影了相同的被摄体的像素群,作为样本像素群进行设定;(3)校正参数估计部,基于针对所述样本像素群的所述视点合成图像以及针对所述样本像素群已经译码了的译码图像,对校正亮度和颜色的失配的校正参数进行估计;(4)视点合成图像校正部,使用所述校正参数,校正针对所述译码对象区域的所述视点合成图像并生成校正视点合成图像;以及(5)图像译码部,使用所述校正视点合成图像,对所述译码对象区域的图像信号进行译码。xa0本发明的实施方式的多视点图像译码装置还具备:(6)被摄体判定部,将所述译码对象区域中的像素以该的像素的深度信息作为基准进行分组。在该情况下,代表深度设置部按照在被摄体判定部中求取的每个组设定代表深度信息,样本图像群设定部按照在被摄体判定部中求取的每个组设定样本像素群,校正参数估计部按照在被摄体判定部中求取的每个组估计校正参数,视点合成图像校正部按照在被摄体判定部中求取的每个组校正视点合成图像。xa0此外,本发明的实施方式的多视点图像译码装置还具备:(7)校正模型选择部,对应于样本像素群的像素数选择校正模型,该校正模型校正针对所述译码对象区域的所述视点合成图像。在该情况下,校正参数估计部对在校正模型选择部中选择的校正模型中的校正参数进行估计,视点合成图像校正部使用在校正模型选择部中选择的校正模型对视点合成图像进行校正。xa0通过以上的各处理单元工作而实现的本发明的多视点图像译码方法也能够以计算机程序来实现。该计算机程序记录在适当的计算机能够读取的记录介质中而被提供,或经由网络而被提供,在实施本发明时被安装并通过在CPU等的控制单元上工作,从而能够实现本发明。xa0发明的效果xa0根据本发明,即使在摄影机间对应于被摄体局部地产生亮度、颜色的失配的情况下,也对应于被摄体局部地求取用于应对该失配的校正参数,因此能够减小预测差分。因此,能够实现高效率的多视点图像、多视点活动图像的编码和译码。xa0并且,根据本发明,因为不需要对这样求取的校正参数另外进行编码/译码,所以在多视点图像、多视点活动图像的编码和译码时能够大幅削减码量。xa0
附图说明
图1是表示本发明的第1实施方式的多视点视频编码装置的框图。xa0图2是表示本发明的第1实施方式的多视点视频编码装置执行的处理的流程图。xa0图3是表示本发明的第1实施方式的多视点视频编码装置执行的处理的细节的流程图。xa0图4是表示本发明的第1实施方式的多视点视频编码装置执行的处理的流程图。xa0图5是表示本发明的第2实施方式的多视点视频译码装置的框图。xa0图6是表示本发明的第2实施方式的多视点视频译码装置执行的处理的流程图。xa0图7是表示本发明的第2实施方式的多视点视频译码装置执行的处理的细节的流程图。xa0图8是表示本发明的第1和第2实施方式中的校正参数生成部的框图。xa0图9是表示视差补偿预测方式的图。xa0
具体实施方式
以下,参照表示本发明的实施方式的附图详细地说明本发明。xa0再有,在以下的说明中,通过对视频(帧)、深度信息附加能够特别指定位置的信息(以记号[]夹着的信息,是坐标值或能够与坐标值对应起来的索引(index)),从而表示在该位置的像素中摄影的被摄体的图像信号、深度信息(按每个图像而定义)。xa0[1]本发明的第1实施方式的多视点视频编码装置xa0图1示出本发明的第1实施方式的多视点视频编码装置100的装置结构。xa0如图1所示,在本实施方式的多视点视频编码装置100中,编码对象图像输入部101将以第1摄影机摄影的被摄体的图像(帧)作为编码对象进行输入。编码对象图像存储器102对从编码对象图像输入部101输入的编码对象帧进行蓄积。蓄积的编码对象帧被供给到图像编码部109。xa0视点合成图像输入部103输入针对编码对象帧的视点合成图像,该视点合成图像是使用以配置在与第1摄影机不同位置的其它的第2摄影机对同一被摄体进行摄影而获得图像的编码完成的帧而生成的。视点合成图像存储器104对从视点合成图像输入部103输入的视点合成图像进行蓄积。蓄积的视点合成图像被供给到校正参数生成部107和视点合成图像校正部108。xa0深度信息输入部105输入针对编码对象帧的深度信息。深度信息存储器106对从深度信息输入部105输入的深度信息进行蓄积。蓄积的深度信息被供给到校正参数生成部107。xa0校正参数生成部107使用编码对象区域的周围区域中的视点合成图像、深度信息和译码图像、和编码对象区域中的深度信息来估计校正参数。视点合成图像校正部108使用估计的校正参数对编码对象区域的视点合成图像进行校正。xa0图像编码部109一边将校正后的视点合成图像作为预测信号进行使用,一边对编码对象区域的图像信号进行编码。图像译码部110对编码了的图像信号进行译码。译码图像存储器111对通过图像编码部109译码的图像进行蓄积。在译码图像存储器111中蓄积的译码图像被供给到校正参数生成部107。xa0校正参数生成部107如图8所示,具有:被摄体判定部107a,被供给来自深度信息存储器106的深度信息;代表深度设定部107b,按顺序连接于该被摄体判定部107a的下游;以及样本像素群设定部107c。在样本像素群设定部107c,在其下游按顺序连接有校正模型选择部107d和校正参数估计部107e。对校正参数估计部107e供给来自译码图像存储器111的译码图像和来自视点合成图像存储器104的视点合成图像,将使用被供给的译码图像和视点合成图像进行估计的校正参数向视点合成图像校正部108供给。xa0图2表示以该方式构成的本实施方式的多视点视频编码装置100执行的处理的流程。xa0按照该处理流程,对本实施方式的多视点视频编码装置100执行的处理详细地进行说明。xa0首先,通过编码对象图像输入部101输入编码对象帧Org,储存在编码对象图像存储器102中。通过视点合成图像输入部103,输入对于编码对象帧Org的视点合成图像Synth,储存在视点合成图像存储器104中。通过深度信息输入部105输入对于编码对象帧Org的深度信息Depth,储存在深度信息存储器106中[A1]。xa0在这里输入的视点合成图像和深度信息与在译码装置获得的相同。这是为了通过使用与在译码装置获得的信息相同的信息来抑制漂移等的编码噪声的产生。但是,在容许这些的编码噪声的产生的情况下,输入编码前的原始信号也可。xa0再有,深度信息被设为从多视点视频编码装置100的外部赋予的,但如非专利文献3记载的那样,根据已经编码完成的其它的摄影机的帧进行估计来求取也可。因此,并不一定需要从发送侧向接收侧传输。此外,视点合成图像是使用已经编码完成的第2摄影机的帧和深度信息来生成的。xa0接着,将编码对象帧分割为多个编码对象区域,按该区域的每一个一边校正视点合成图像,一边在图像编码部109对编码对象帧的图像信号进行编码[A2-A15]。xa0也就是说,当以blk表示编码处理块的索引,以numBlks表示总编码处理块数时,在以0对blk进行初始化后[A2],一边对blk加上1[A14],一边到blk变为numBlks为止[A15],反复进行以下的步骤[A3-A13]。xa0在按每个编码处理块反复进行的处理中,编码装置100首先求取块blk(编码对象区域)的周围的编码完成区域的像素的集合N_blkxa0[A3]。xa0作为周围区域能够使用与块blk邻接的编码处理块、邻接像素等的各种单位的区域。虽然使用任何定义的周围区域均可,但需要使用与在译码侧使用的定义相同的区域。xa0接着,校正参数生成部107的被摄体判定部107a将对每个像素赋予的深度信息作为基准,进行块blk内的像素的分组(grouping)[被摄体判定步骤A4]。xa0将结果的各组的索引表示为obj,将组数表示为numObjs,将属于组obj的像素表示为C_obj。xa0虽然在分组中使用任何方法均可,但需要使用与在译码侧使用的方法相同的方法。作为最简单的分组方法,有如下方法,即求取块blk内的像素的深度信息的方差,如果该值为阈值以下的话,将整体设为1个组,在比阈值大的情况下,将深度值的平均作为边界分割为2个组。在该情况下,如果全部的组中包含的像素的深度信息的方差是某个阈值以下的话,结束分组。xa0作为更复杂的分组方法,有如下方法,即最初设各像素形成1个组,在使某2个群融合时,以组内的像素具有的深度信息的方差的增加最少的顺序依次进行融合的方法。在该情况下,在使任意2个组融合也产生具有超过某个阈值的方差的组的情况下,结束分组。xa0再有,当组数增加时运算量增加,因此预先定义组的最大数量也可。当组数变为该最大值时结束分组,或预先定义1组中包含的像素的最小数量,使得不生成小的组,由此能够防止组数的增大。在块尺寸为通常的图像编码的单位块尺寸的16×16像素的情况下,通常在同一块中摄影多个被摄体的情况是罕见的。因此,即使最大组数是2,也能进行高精度的分组。xa0在分组结束后,按各组的像素的每一个校正视点合成图像,由此生成预测图像Pred[A5-A11]。xa0也就是说,在将组索引obj初始化为0之后[A5],一边对obj加上1[A10],一边到obj变为numObjs为止[A11],在校正参数生成部107中,进行估计用于对视点合成图像进行校正的校正参数的步骤[A6-A8]。与该处理一起,在视点合成图像校正部108中,反复进行使用估计的校正参数对针对组obj中包含的像素的视点合成图像进行校正,生成预测图像的步骤[A9]。xa0在校正参数的估计处理中,首先基于深度信息,求取在块blk(编码对象区域)的周围的编码完成区域的像素的集合N_blk中包含的、与组obj摄影了相同被摄体的像素的集合N_blk,obj(样本像素群)[代表深度设定步骤和样本图像群设定步骤A6]。xa0作为具体的处理,首先,在代表深度设定部107b中,求取组obj的代表深度值D_obj(代表深度设定步骤)。作为求取代表深度值D_obj的方法,只要能够使用针对组obj内的像素D_obj的深度信息来求取1个深度信息的话,能够使用任何方法。但是,需要以与译码侧相同的处理进行求取。例如xa0,能够使用平均值、中央值等。使用平均值的情况下的代表深度值D_obj能够以下式(1)表示。再有,||xa0xa0||表示该集合的像素数。xa0ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="544"/>再有,有在被摄体判定步骤A4中将深度信息作为基准进行像素的分组时,一边决定成为组的代表的像素、表示组的深度信息,一边进行像素的分组的方法。在使用这样的方法的情况下,将作为此时的组的代表而使用的像素具有的深度信息、表示组的深度信息作为代表深度值也可。在该情况下,代表深度设定步骤的处理在被摄体判定步骤A4中同时进行。作为同时进行组的代表决定和分组的方法,作为代表有被称为Affinityxa0Propagation的方法。该方法在B.xa0J.xa0Freyxa0andxa0D.xa0Dueck,xa0“Clusteringxa0byxa0Passingxa0Messagesxa0Betweenxa0Dataxa0Points”,xa0Sciencexa02007,xa0Vol.xa0315(5814):xa0pp.xa0972-976中记载。xa0当这样求取代表深度值D_obj时,接着在样本像素群设定部107c中,求取与在集合N_blk中包含的组obj摄影了相同的被摄体的像素的集合N_blk,obj(样本像素群)(样本像素群设定步骤)。集合N_blk,obj如以下面的数式(2)表示的那样,能够通过针对该像素的深度值与代表深度值的差分绝对值小于预先赋予的阈值thSameObj来定义。xa0ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="553"/>在求取了集合N_blk,obj之后,对应于该集合的像素数,在校正模型选择部107d中,从预先准备的校正模型中选择使用的模型[校正模型选择步骤A7]。xa0准备数个校正模型也可,但必须在译码侧也准备相同的校正模型,通过相同的判断基准选择使用的校正模型。此外,在仅准备了1个校正模型的情况下,能够省略该步骤。xa0在后述的步骤A9中执行的对视点合成图像进行校正来生成预测图像的处理能够作为将视点合成图像作为输入并输出预测图像的函数来表现。校正模型指的是此时使用的函数的模型。例如,有利用偏移(offset)的校正、使用1次函数的校正、抽头长k的二维线性滤波器处理等。当将校正对象的像素设为p时,它们分别能够以下面的数式(3)~数式(5)来表示。xa0ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="538"/>利用偏移的校正、使用了1次函数的校正是利用线性滤波器处理的校正的特殊的例子。再有,校正处理不必须是线性处理,只要能够进行校正参数估计的话,使用非线性滤波器也可。作为非线性的校正方法的例子,有伽玛校正。伽玛校正能够以下面的数式(6)表示。xa0ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="547"/>在这些校正模型的例子中,offset、(α,β)、({F_i,j},xa0o)、(γ,a,b)分别成为校正参数。即,校正参数的数量根据校正模型而变化。xa0虽然校正参数的数量越多,越能够进行精度高的校正,但为了决定这些校正参数,最低也需要与校正参数相同数量的样本。如后述那样,这些样本是在上述的集合N_blk,obj中包含的样本像素的视点合成图像和译码图像,素以通过对应于集合N_blk,obj的像素数来决定校正模型,恩那个过高精度地进行校正。再有,在校正参数的估计中使用尽可能多的样本,能够提高估计的校正参数的稳固性。因此,优选以能够保证充分的稳固性的方式进行校正模型的选择。xa0在选择了1个校正模型之后,在校正参数估计部107e中,将对于在集合N_blk,obj中包含的像素的视点合成图像Synth和译码图像Dec作为样本,进行在该校正模型中包含的校正参数的估计[校正参数估计步骤A8]。xa0在这里进行的校正参数的估计中,在将在集合N_blk,obj中包含的像素的校正前的值作为视点合成图像,将理想的校正后的值作为译码图像时,以实际上以校正模型进行校正时的值和理想值的误差尽可能变小的方式来求取。xa0例如,当假设校正是线性处理时,能够使用最小二乘法决定校正参数。也就是说,当以M表示校正时,校正参数的估计通过使以下式(7)表示的值最小化来进行。xa0ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="545"/>也就是说,通过求解与各校正参数相关的数式(7)的偏微分值成为0的联立方程式,能够求取校正参数。xa0如果能够估计校正参数的话,在视点合成图像校正部108中,通过将针对块blk的组obj的视点合成图像Synth按照校正参数进行校正,生成针对块blk的组obj的预测图像Pred[视点合成图像校正步骤A9]。xa0该预测图像Pred的生成处理具体如图3的处理流程所示,按每个像素来进行。在这里,在图3的处理流程中,pix表示像素的识别信息,numPix_blk,obj表示块blk的组obj内的像素数。xa0例如,在进行使用了偏移值的校正的情况下,按照上述的数式(3)生成预测图像Pred。xa0针对该预测图像Pred的生成,针对作为校正方法(校正模型)进行使用了偏移值的数式(3)的校正的例子进行说明。如图4所示,在校正参数估计步骤A8中,在将周围的编码完成区域中存在的对相同被摄体的视点合成图像的像素值设为In,将该被摄体的译码图像的像素值设为Out,对该情况下的offset进行估计,由此决定成为像素值变换式的校正模型。接着,在步骤A9中,通过对该决定了的像素值变换式的In代入针对块blk的组obj的视点合成图像的像素值,从而以生成针对块blk的组obj的预测图像的方式进行处理。xa0在针对块blk的预测图像的生成结束后,在图像编码部109中,一边将在步骤S9中生成的预测图像Pred作为预测信号,一边进行针对块blk的编码对象帧Org的编码[图像编码步骤A12]。xa0在该编码步骤A12中,使用任何编码方法均可,但在H.264等的通常的编码方法中,通过对Org和Pred的差分施加DCT/量化/2值化/熵编码,从而进行编码。xa0编码结果的比特流为多视点编码装置100的输出。此外,编码结果的比特流(bitxa0stream)按每个块在图像译码部110进行译码,作为译码结果的译码图像Dec为了其它块中的校正参数估计而储存在译码图像存储器111中[图像译码步骤A13]。xa0这样,以图1所示方式构成的多视点视频编码装置100为了即使在摄影机间对应于被摄体而局部地产生亮度、颜色的失配的情况下也能够高效率地编码多视点视频,对应于被摄体局部地求取用于应对该失配的校正参数。此外,该多视点视频编码装置100为了回避码量的增加,以不需要另外进行编码/译码的方式求取该校正参数,并且执行该多视点视频的编码。xa0在本实施方式中,说明了必定使用视点合成图像对块blk的图像信号进行编码的情况,但将本实施方式中说明的使用了视点合成图像的视频预测作为多个存在的预测化模式的1种进行使用也可。xa0[2]本发明的第2实施方式的多视点视频译码装置xa0图5示出本发明的第2实施方式的多视点视频译码装置200的装置结构。xa0如图5所示,在本实施方式的多视点视频译码装置200中,码数据输入部201将以第1摄影机摄影的被摄体的图像(帧)的码数据作为译码对象进行输入。码数据存储器202对从码数据输入部201输入的码数据进行蓄积。蓄积的码数据被供给到图像译码部209。xa0视点合成图像输入部203输入针对译码对象帧的视点合成图像,该视点合成图像是使用以配置在与第1摄影机不同位置的第2摄影机对同一被摄体进行摄影而获得图像的译码完成的帧而生成的。视点合成图像存储器204对从视点合成图像输入部203输入的视点合成图像进行蓄积。蓄积的视点合成图像被供给到校正参数生成部207和视点合成图像校正部208。xa0深度信息输入部205输入针对译码对象帧的深度信息。深度信息存储器206对从深度信息输入部205输入的深度信息进行蓄积。蓄积的深度信息被供给到校正参数生成部207。xa0校正参数生成部207使用译码对象区域的周围区域中的视点合成图像、深度信息和译码图像和译码对象区域中的深度信息来估计校正参数。视点合成图像校正部208使用估计的校正参数对译码对象区域的视点合成图像进行校正。xa0图像译码部209一边将校正后的视点合成图像作为预测信号进行使用,一边对译码对象区域的图像信号进行译码。(10)译码图像存储器210对在图像译码部209中译码的图像进行蓄积。xa0校正参数生成部207如图8所示,具有:被摄体判定部207a,被供给来自深度信息存储器206的深度信息;代表深度设定部207b,按顺序连接于该被摄体判定部207a的下游;以及样本像素群设定部207c。在样本像素群设定部207c,在其下游按顺序连接有校正模型选择部207d和校正参数估计部207e。对校正参数估计部207e供给来自译码图像存储器210的译码图像和来自视点合成图像存储器204的视点合成图像,将使用被供给的译码图像和视点合成图像进行估计的校正参数向视点合成图像校正部208供给。xa0图6表示这样构成的第2实施方式的多视点视频译码装置200执行的处理的流程。xa0接着,按照该处理流程,对本实施方式的多视点视频译码装置200执行的处理详细地进行说明。xa0首先,通过码数据输入部201输入译码对象帧的码数据,储存在码数据存储器202中。通过视点合成图像输入部203,输入对于译码对象帧的视点合成图像Synth,储存在视点合成图像存储器204中。通过深度信息输入部205,输入对于译码对象帧的深度信息Depth,储存在深度信息存储器206中[B1]。xa0在这里输入的视点合成图像和深度信息与在编码装置获得的相同。这是为了通过使用与在编码装置获得的信息相同的信息来抑制漂移(drift)等的编码噪声的产生。但是,在容许这些的编码噪声的产生的情况下,输入与编码装置不同的信息也可。xa0再有,深度信息被设为是从多视点视频译码装置200的外部赋予的,但如非专利文献3记载的那样,根据已经译码完成的其它的摄影机的帧进行估计来求取也可。因此,并不一定需要从发送侧向接收侧传输。此外,视点合成图像是使用已经译码完成的第2摄影机的帧和深度信息来生成的。xa0接着,将译码对象帧分割为多个译码对象区域,按该区域的每一个一边校正视点合成图像,一边在图像译码部209对译码对象帧的图像信号进行译码[B2-B14]。xa0也就是说,当以blk表示译码处理块的索引,以numBlks表示总译码处理块数时,在以0对blk进行初始化后[B2],一边对blk加上1[B13],一边到blk变为numBlks为止[B14],反复进行以下的步骤[B3-B12]。xa0在按每个译码处理块反复进行的处理中,译码装置200首先求取块blk(译码对象区域)的周围的译码完成区域的像素的集合N_blkxa0[B3]。xa0作为周围区域能够使用与块blk邻接的译码处理块、邻接像素等的各种单位的区域。虽然使用任何定义的周围区域均可,但需要使用与在编码侧使用的定义相同的区域。xa0接着,校正参数生成部207的被摄体判定部207a将按每个像素赋予的深度信息作为基准,进行块blk内的像素的分组[被摄体判定步骤B4]。xa0将结果的各组的索引表示为obj,将组数表示为numObjs,将属于组obj的像素表示为C_obj。在这里的处理与第1实施方式的被摄体判定步骤A4相同。xa0在分组结束后,按各组的像素的每一个校正视点合成图像,由此生成预测图像Pred[B5-B11]。xa0也就是说,在将组索引obj初始化为0之后[B5],一边对obj加上1[B10],一边到obj变为numObjs为止[B11],在校正参数生成部207中,进行估计用于对视点合成图像进行校正的校正参数的步骤[B6-B8]。与该处理一起,在视点合成图像校正部208中,反复进行使用估计的校正参数对针对组obj中包含的像素的视点合成图像进行校正,生成预测图像的步骤[B9]。xa0在该步骤B9的处理与第1实施方式的步骤A9相同,如图7的处理流程所示,按每个像素来进行。在这里,在图7的处理流程中,pix表示像素的识别信息,numPix_blk,obj表示块blk的组obj内的像素数。通过代表深度设定部207b、样本像素群设定部207c、校正模型选择部207d和校正参数估计部207e进行的、校正参数的估计步骤[B6-B8]与第1实施方式中的步骤A6-A8相同。xa0在针对块blk的预测图像的生成结束后,在图像译码部209中,一边将在步骤B9中生成的预测图像Pred作为预测信号,一边译码针对块blk的译码对象帧Dec[B12]。xa0在这里进行的译码处理需要使用与在生成码数据时使用的方法对应的方法。例如,在使用H.264进行编码的情况下,通过对进行了熵译码、多值化、反量化、反DCT而被译码的残差信号加上预测信号,从而进行译码处理。xa0译码结果的译码图像成为多视点译码装置200的输出,并且为了其它块中的校正参数估计而储存在译码图像存储器210中。xa0像这样,如图5那样构成的多视点视频译码装置200,对如图1那样的多视点视频编码装置100生成的多视点视频译码的码数据进行译码。xa0在本实施方式中,说明了必然使用视点合成图像对块blk进行编码。在使用视点合成图像的预测模式作为多个存在的预测模式的1种而被使用来对码数据进行译码的情况下,仅在该预测模式被使用的情况下按照上述处理流程对图像进行译码,在使用除此之外的预测模式的情况下,能够通过使用按照该预测模式(除此之外的预测模式)的现有的译码方法来对图像进行译码。xa0在上述说明的第1和第2实施方式中,在全部的块中进行校正,但也可以采用通过按每个块对1位的标签信息进行编码,从而选择是否进行校正的结构。xa0此外,也有不对1位的标签信息进行编码,而测定校正参数的可靠度,对应于该可靠度选择是否进行校正的方法。xa0具体地,在步骤A8和步骤B8中求取校正参数之后,求取下面的数式(8)~数式(10)所示那样的表现校正的可靠度和有效性的值也可。视点合成图像校正部108和208仅在该值比预先赋予的阈值大的情况下,将在步骤A9和步骤B9中对视点合成图像进行校正后的图像作为预测图像,在除此之外的情况下,将视点合成图像直接作为预测图像。xa0xa0xa0ntent="drawing" img-format="jpg" inline="no" orientation="portrait" wi="550"/>数式(8)的第1项表示译码图像Dec和视点合成图像Synth的差分绝对值和,第2项表示译码图像Dec和预测图像Pred的差分绝对值和。即,数式(8)表示通过进行校正,真值和预测值的差分绝对值和被削减到什么程度。此外,数式(9)的第1项表示译码图像Dec和视点合成图像Synth的差分的均方和,第2项表示译码图像Dec和预测图像Pred的差分均方和。即,数式(9)表示通过进行校正,真值和预测值的差分均方和被削减到什么程度。此外,数式(10)是表示校正模型对获得的样本是哪种程度可靠。在这里,所有的值均不使用处理对象块而使用周围区域的值来进行求取,因此仅对在整体中使用的阈值进行编码,对译码侧通知即可。xa0再有,在本实施方式中,说明了对1个摄影机的1个帧进行编码或译码的处理,但通过将该处理按每个帧反复进行,能够实现多视点视频的编码或译码。进而,通过按每个摄影机反复进行,能够实现多个摄影机的多视点视频的编码或译码。xa0以上说明的处理,能够通过计算机和软件程序来实现,也能够将该程序记录在计算机能够读取的记录介质中进行提供,或通过网络进行提供。xa0此外,在以上的实施方式中,以多视点视频编码装置和多视点视频译码装置为中心进行了说明,但通过与该多视点视频编码装置的各部分的工作对应的步骤,能够实现本发明的多视点视频编码方法。同样地,通过与该多视点视频译码装置的各部分的工作对应的步骤,能够实现本发明的多视点视频译码方法。xa0以上,参照附图对本发明的实施方式进行了说明,但上述实施方式不过是本发明的例示,很明显本发明不被上述实施方式所限定。因此,在不脱离本发明的范围中,也能够进行结构要素的追加、省略、置换、或其他的变更。xa0产业上的利用可能性xa0本发明能够应用于多视点图像的编码方法。通过应用本发明,即使在摄影机间对应于被摄体而局部地产生亮度、颜色的失配的情况下,也能够实现高效率的多视点图像、多视点活动图像的编码和译码,能够大幅削减在该实现中的码量。xa0附图标记说明xa0100xa0多视点视频编码装置;101xa0编码对象图像输入部;102xa0编码对象图像存储器;103xa0视点合成图像输入部;104xa0视点合成图像存储器;105xa0深度信息输入部;106xa0深度信息存储器;107xa0校正参数生成部;108xa0视点合成图像校正部;109xa0图像编码部;110xa0图像译码部;111xa0译码图像存储器;200xa0多视点视频译码装置;201xa0码数据输入部;202xa0码数据存储器;203xa0视点合成图像输入部;204xa0视点合成图像存储器;205xa0深度信息输入部;206xa0深度信息存储器;207xa0校正参数生成部;208xa0视点合成图像校正部;209xa0图像译码部;210xa0译码图像存储器。xa0